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Points fixes d'applications holomorphes 
d'un domaine borné de C"^ dans lui-même 



Jean-Pierre Vigué 



1. Introduction 



O ■ Le but de cet article est de regrouper un certain nombre de résultats sur les points 

^ ■ fixes d'une application holomorphe / : D — y D d'un domaine borné D de (ou plus 

CL|! généralement d'une variété hyperbolique) dans lui-même. Sur cette question, nous allons 

\ montrer les deux résultats suivants. 



Théorème 1.1. - Soit D un domaine borné convexe de C". Soit f : D — y D une 
application holomorphe. Alors l'ensemble Fix/ = {z E D\f{z) = z} est une sous-variété 
analytique complexe de D, et si Fix f est non vide, il existe une rétraction holomorphe de 
D sur Fix/. En particulier, ceci entraîne que Fix/ est connexe. 



La démonstration de ce résultat utilise un résultat de C. Earle et R. Hamilton [8] : 
soit D est un domaine borné de C"^ et soit / : D — > D est une application holomorphe 
telle que f{D) soit relativement compact dans D. Alors il existe une constante k < 1 telle 
que / soit /c-contractante pour la distance intégrée de Carathéodory c}^. Par suite, elle 
I admet un point fixe unique a E D, et a = lim^^œ/'^l-Zo)? pour un point Zo quelconque 
^ ■ dans D. 
lO 

Pour montrer ce résultat, nous serons amenés à définir la métrique infinitésimale et la 
. distance de Carathéodory et à montrer un certain nombre de leurs propriétés. 

o ■ 

O ! Dans le cas d'un domaine borné D de C"^ quelconque, les choses sont un peu différentes 

et nous montrerons le théorème suivant. 



Théorème 1.2. - Soit D un domaine borné de C"" (ou une variété hyperbolique) . 
Soit f : D — y D une application holomorphe. Alors l'ensemble Fixfdes points fixes de f 



I est une sous-variété analytique complexe de D. 

Pour démontrer ce résultat, nous montrerons d'abord l'existence d'une rétraction holo- 
morphe p sur une sous-variété analytique complexe V de D telle que p{D) contienne 
l'ensemble Fix/ des points fixes de / et que f\p{D) soit un automorphisme analytique de 
p{D). Ensuite, dans le cas d'une variété hyperbolique X, nous étudierons le groupe des 
automorphismes analytiques de X. Nous montrerons un théorème de linéarisation locale 
du groupe d'isotropie d'un point. Ce théorème, qui a son intérêt propre, permet d'achever 
la démonstration du théorème 1.2. Nous remarquerons aussi que la sous- variété Fix/ 
n'est pas connexe en général et que ses composantes connexes n'ont pas toutes la même 
dimension. 

Pour conclure cet article, nous montrerons un résultat plus précis dans le cas où D 
est la boule-unité ouverte de C"^ pour une norme et est strictement convexe. 



1 



Pour les définitions et les propriétés des fonctions holomorphes sur un ouvert U de C^, 

nous renvoyons le lecteur aux livres de L. et B. Kaup [15] et de R. Gunning et H. Rossi [10]. 
Nous allons commencer par montrer le lemme de Schwarz et le lemme de Schwarz-Pick. 

2. Le lemme de Schwarz 

Soit A = {z E C\\z\ < 1} le disque-unité ouvert dans C. 

Théorème 2.1. (Lemme de Schwarz) - Soit f : A — > A une application holomorphe 
telle que /(O) = 0. Alors, 

(i) G A, 1/(^)1 < 1^1 et If (0)1 <1. 

(ii) De plus, s'il existe zq tel que |/(-2o)| = \zo\ ou, si |/'(0)| = 1, alors, il existe 
un nombre complexe A G C, |A| = 1 tel que f{z) = Xz. 

Idée de la démonstration. - Comme /(O) = 0, on peut considérer l'application holo- 
morphe g définie par g{z) — f{z)/z. Si on suppose que \z\ — r, on trouve que \g{z) \ < 1/r, 
et, d'après le principe du maximum, c'est aussi vrai pour tout \z\ < r. En faisant tendre 
r vers 1, on en déduit que, pour tout z & A, \g{z)\ < 1. Ceci montre le (i). 

Pour le (ii), s'il existe 2:0 7^ tel que \f{zo) \ = \zo\ (resp. si |/'(0)| = 1), on en déduit 
que 1^(2^0)1 = 1 (resp. |^(0)| = 1). On applique encore une fois le pincipe du maximum 
pour montrer que g est constante égale à A, |A| = 1. Le (ii) s'en déduit. 

Le lemme de Schwarz permet de trouver quels sont les automorphismes analytiques 
de A laissant l'origine fixe. 

Corollaire 2.2. - Soit f : A — y A un automorphisme analytique de A tel que 
/(O) = 0. Alors il existe un nombre complexe A G C, |A| = 1 tel que f{z) = Xz. 

Démonstration. - Remarquons d'abord que z i-^ Xz avec |A| = 1 est bien un automor- 
phisme analytique de A. Réciproquement, soit / un automorphisme analytique de A tel 
que /(O) = 0. Soit g = f^^. D'après le lemme de Schwarz, on a, pour tout z E A, 

\g{f{z))\ < \f{z)\ < \z\. 

Comme g{f{z)) — z, on en déduit que \f{z)\ — \z\, et, d'après le lemme de Schwarz, 
f{z) = Xz, avec |A| = 1. 

Ce résultat permet de montrer quels sont les automorphismes analytiques du disque- 
unité ouvert A. Soit $a l'application holomorphe définie sur C\{l/â} par ^a{z) = {z — 
a)/{l — cîz), a G A. On dit que $a est une transformation de Môbius. Supposons que a G A. 
Le premier résultat est que la restriction de au disque-unité A est un automorphisme 
analytique de A. En effet, si on suppose que 1^1 = |e*^| = 1, on a : 

\^aie'^)\ = \e'^ -a\/\l-âe'^\ = \e'^\\l - ae-'^\/\l -âe'^\ = 1. 

Comme est visiblement non constante, on en déduit du principe du maximum que, 
pour tout z E A, \^a{z) \ < 1- Ainsi donc, envoie A dans A. Pour montrer que est 
un automorphisme analytique de A, il suffit de vérifier que = $-0, ce qui est tout à 
fait élémentaire. 
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On déduit de ces considérations la forme des automorphismes analytiques du disque- 
unité A. 

Théorème 2.3. - Les automorphismes analytiques du disque-unité A sont les appli- 
cations de la forme : 

z 1-^ X^a{z) = X{z - a)/(l - az), |A| = 1, a G A. 

Démonstration. - Il est clair que toutes les applications définies ci-dessus sont des 
automorphismes analytiques du disque-unité A. Soit maintenant g un automorphisme 
analytique de A et soit a = —g~^{0). On a : 

g{^,{0))=g{g-\0))=0. 

Par suite, go^^iz) = Xz, avec |A| = 1. On en déduit que 

g{z)^X<^-'{z)^X^.a{z), 

et le théorème est démontré. 

3. Le lemme de Schwarz-Pick 

En utilisant la forme explicite des automorphismes analytiques de A, on peut généra- 
liser le lemme de Schwarz à des applications holomorphes de A dans A, sans supposer que 
l'origine est fixe. Plus précisément, nous avons le lemme suivant (lemme de Schwarz-Pick, 
voir par exemple S. Dineen[7]). 

Proposition 3.1 - Soit f une application holomorphe de A dans A. Alors, 
(i) yz e A,V«; e A, 

fjz) - fjw) 
l-f{w)f{z) 

(n) e A, 

\nz)\ ^ 1 

l-\f{z)\^ - l-\z\^' 

Si f & Aut(A), (i) et (ii) sont des égalités. De plus, si on a égalité dans (i) pour un 
couple de points distincts (z, w) ou dans (ii) pour un z & A, alors f est un automorphisme 
analytique de A. 

Démonstration. - Soit w fixé G A. On considère g = ^f^^)ofo^_^. Alors g est une 
application holomorphe de A dans A et g{0) = 0. D'après le lemme de Schwarz, pour tout 
C e A, |5f(C)| < ICI- P^^i" suite, pour tout ^ G A, 

\g{<èUz))\ < \^Uz)l 

|$/(„)o/o$_„o$„(2)| < \<èu,{z)\, 

|*/m(/(^))| < 

3 
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ce qui montre le résultat. Si on a égalité dans (i) pour deux points distincts, on a alors 
\g{C) \ = ICIi pour un certain non nul, ce qui, d'après le lemme de Schwarz montre que g, 
et par suite / sont des automorphismes analytiques de A. 

La démonstration du (ii) est tout à fait semblable. 

4. La métrique de Poincaré 

Les résultats du paragraphe précédent s'expriment de manière plus agréable en utili- 
sant la métrique infinitésimale et la distance de Poincaré. 

Définition 4.1. - Soient z E A et v E C On définit la métrique infinitésimale de 
Poincaré 

a{z, v) 

Il est tout à fait clair que a est une métrique hermitienne. La métrique a est invariante 
dans le sens suivant : si / : A — > A est une application holomorphe, alors, pour tout 
2; e A et tout v e C, on a : 

a{f{z),f'{z).v) < a{z,v), 

avec égalité si / est un automorphisme analytique de A. Ce résultat est une simple 
traduction du lemme de Schwarz-Pick. 

A partir de cette métrique, on peut calculer la longueur d'une courbe 7 : [a, b] — > A 
de classe par morceaux 





V 




1 - 




z 
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Lah)^ [ a{-f{t),i{t))dt. 

J a 



On définit alors une distance intégrée u appelée distance de Poincaré 

(xj{z,w) = MLai'j) 

pour l'ensemble des courbes 7 d'origine z et d'extrémité w. 

Il est facile de vérifier que oj est une distance sur A. C'est une distance invariante 
dans le sens suivant : si / : A — y A est une application holomorphe, alors, pour tout z et 
pour tout w appartenant à A, on a : 

^{f{z)J{w)) < u{z,w), 

avec égalité si / est un automorphisme analytique de A. 
On peut, bien sûr, calculer la valeur de u et on trouve. 
Proposition 4.2. - Pour tous z et w appartenant à A, on a : 



u){z, w) = Arg th 
4 



z — w 



1 — wz 



Idée de la démonstration. - Dans la mesure où les automorphismes analytiques de A 

sont des isométries, il suffit en fait de démontrer ce résultat quand w = et quand z est 
un nombre réel < ^ < 1. Soit 7(t) = 7i(0 +i^2{t) un chemin de classe par morceaiix 
d'origine et d'extrémité z. On a : 

Ja l-|7i(i) + ^72(t)P 

h[(t) + l'y'om hUt)\ 

et, comme - — — — tVftt > ; — ttttt , on trouve que 

l-|7iW + ^72WP - l-lTiWP' 



^«(7) > /' 



l7l(t)l 
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D'autre part, le chemin e : [0, z] — > A définie par e{t) = t a, exactement pour longueur 
Arg th z. Le résultat est démontré. 

5. Définition des pseudométriques et des pseudodistances invariantes 

Nous considérerons un domaine D de C". [Moyennant quelques changements évidents, 
la même construction peut être faite poiu' une variété complexe quelconque (voir S. Ko- 
bayashi [16])]. Il y a deux méthodes pour définir les pseudodistances invariantes sur un 
domaine D : une en utilisant les applications holomorphes de D dans le disque-unité 
A, l'autre en utilisant les applications holomorphes de A dans D (voir [9], [13] et [14]). 
Commençons par les applications holomorphes de D dans A. 

On définit la pseudodistance de Carathéodory cd de la façon suivante : pour tous z 
et w dans D, 

cd{z,w) = sup^çHÇD,A)^i'fiiz), Viw)), 

où. H{D, A) désigne l'ensemble des applications de D dans le disque-unité A. 

On dit qu'une application d : D x D — > M"*" est une pseudodistance si d vérifie les 
trois propriétés suivantes : 

(i) X = y ^ d{x, y) = 0; 

(ii) Vx e D.yy e D, d{x, y) = d{y, x); 

(in) ^x e D,\/y e D^z e D, d{x, z) < d{x, y) + d{y, z) . 

En fait, d vérifie toutes les propriétés d'une distance sauf peut-être d{x, y) — ^ x = 



y- 



On a le théorème suivant. 



Théorème 5.1. - cd est une pseudodistance sur D. Elle est invariante dans le 
sens suivant : pour toute application holomorphe f : D — y D' , pour tout x E D, pour 
tout y Çl D, CD'{f{x),f{y)) < CD{x,y). Ceci entraîne en particulier que les isomorphismes 
analytiques sont des isométries. 
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La démonstration se fait en remarquant que l'application i-> (fof envoie H{D', A) 
dans H{D,A). 

On peut définir maintenant la fonction de Kobayashi Sd- Pour tous zetw appartenant 
à D, on définit 

ôoiz, w) = inf {uj{C, : A — > D holomorphe telle que </p(C) = 2;, ip{r]) = w}. 

Pour les mêmes raisons, Ôd est une fonction invariante au sens précédent, mais Ôd n'est 
pas une pseudodistance, car Sd ne vérifie pas l'inégalité triangulaire en général. 

On définit alors la pseudodistance de Kobayashi ko comme la plus grande pseudodis- 
tance inférieure ou égale h Sd, et on montre que 

kD{z,w) = inf [Sd{zi,Z2) + ... + SD{Zn-l, Zn)], 

pour toutes les suites de points (2:1, Zn) telles que zi = z, Zn = w. 

On montre alors que la pseudodistance de Kobayashi ko est une pseudodistance in- 
variante. 

Maintenant, nous pouvons faire la même construction pour les métriques infinitési- 
males. On définit alors la pseudométrique infinitésimale de Carathéodory (ou de Reifi^en- 
Carathéodory) de la façon suivante : V2; G D,Vt' G C"^, 

Ed{z,v) = sup ^eH{A,D)'^iv>{z),^'{z).v) = sup \(p'{z).v\. 

(Dans le cas d'une variété V, il faut supposer que v appartient à l'espace tangent T^ÇV)). 
On vérifie facilement que Ed est une pseudométrique invariante dans le sens suivant : si 
/ : D — > D' est une application holomorphe, on a, V2; G D, Vv G C", 

ED'{f{z)J'{z).v)<ED{z,v). 

En particulier, les isomorphismes analytiques sont des isométries. 

De manière duale, on définit la pseudométrique infinitésimale de Kobayashi (ou de 
Royden-Kobayashi): e D,yv e C"", 

Fd{z,v) = inî^eH{A,D),ip{o)=z{\M tel que X(f'{0) = v}. 

On vérifie que Fd est elle aussi une pseudométrique invariante. 

Pour la pseudométrique infinitésimale de Carathéodory, on montre la proposition suiv- 
ante. 

Proposition 5.2. - L'application Ed : D x — > est continue. 

A partir de la pseudométrique infinitésimale de Carathéodory, on définit la longueur 

i 

d'un chemin 7 de classe C par morceaux par la formule 

L^(7)= f ED{.l{t)n\t))dt, 

J a 
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et on définit la pseudodistance intégrée de Carathéodory de la façon suivante: étant donnés 
z et w appartenant à D, on définit c]j{z,w) comme la borne inférieure des longueurs 
Le{i) des chemins 7 de classe C par morceaux d'origine z et d'extrémité w. On vérifie 
facilement que est une pseudodistancc invariante. 

La pseudométrique infinitésimale de Kobayashi nous sera moins utile dans ces notes. 
Pour l'étudier, il faut d'abord montrer la proposition suivante. 

Proposition 5.3. - L'application : D x C" — > ffi."*" est semicontinue supérieure- 
ment. 

On peut alors définir la longueur Lp{'y) d'un chemin de classe C par morceaux puis 
définir une pseudo distance intégrée k\). En fait, on montre que k]j = kr). 

En utilisant le lemme de Schwarz, on montre facilement le théorème suivant. 

Théorème 5.4. - Pour tout z G D, pour tout w G D, on a 

cd{z,w) < c\j{z,w) < kD{z,w) < Ôd{z,w). 

Ce sont toutes des applications invariantes. 

Nous allons donner maintenant quelques exemples de calcul de pseudodistances in- 
variantes. 

Exemple 5.5. - Pour le disque-unité A, on trouve 

ca = kA = 00, Ea^ Fa = a. 

Ce résultat, tout à fait élémentaire est une conséquence du lemme de Schwarz. 

Exemple 5.6. - Soit D = C ou C". Dans ce cas, coïko et 5d sont identiquement 
nulles. De même, Ed et Fd sont identiquement nulles. 

Pour montrer que 5d (et par suite, cd et ko) sont identiquement nulles, il suffit 
de remarquer que, z et w étant donnés, l'application (/? : A — )■ D définie par <^(C) = 
z -h nC,{w — z) est telle que <^(0) = ^, <f{l/n) = w. Le résultat s'en déduit. 

Exemple 5.7. - Soit B la boule-unité ouverte de C"' pour une norme ||.||. Alors, 

(i) cb(0, z) = ksiO, z) = ôsiO, z) = uj{0, \\z\\); 

(ii) Eb{0,v)=Fb{0,v) = \\v\\. 

Montrons par exemple (i). Le résultat est trivial pour z = 0. Supposons donc z ^ 0. 
On définit une application holomorphe ip : A — > B par la formule ip{Q — {(/\\z\\)z. 
D'autre part, d'après le théorème de Hahn-Banach, il existe une application C-linéaire 
•0 de norme 1 telle que t(j{z) = \\z\\. La restriction de ip k B est donc une application 
holomorphe de B dans A. En utilisant le fait que cd est une pseudodistance invariante, 
on trouve 

cAmm),i^{A^))) < CB{m,vi\\4)) < ca(o, 

Comme ipoip = id, on a : 

ca(0,||2;||) <cb(0,2;) <ca(0,||2;||), 
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ce qui montre le résultat pour cd. Le reste des résultats se montre de manière semblable 
et est laissé en exercice. 

Ces résultats permettent de calculer les pseudométrques et les pseudodistances sur B 
lorsque B est homogène. Ce résultat permet aussi pour un domaine borné D de C" et, en 
utilisant des boules bien choisies, de montrer le résultat suivant. 

Théorème 5.8. - Soit D un domaine borné de C"". Alors cd et ko sont des distances 
invariantes qui définissent la topologie de D. De même, Ed et Fd sont des métriques 
invariantes. 

Rappelons la définition suivante : on dit que G est une métrique si, pour tout x E D, 
il existe un voisinage U de x et une constante k > telle que, Wy E U,\/v E C^, G{y,v) > 
k\\v\\. 

On dit qu'un domaine (ou plus généralement une variété) D est hyperbolique si ko est 
une distance sur D. Alors, d'après un théorème de T. Barth [2], k^ qui est une distance 
intégrée, définit la topologie de D. 

Remarquons que les résultats précédents montrent que tout domaine borné D de C" 
est hyperbolique. 

Enfin, il nous faut signaler le profond théorème de L. Lempert [17 et 18] (voir aussi 
M. Jarnicki et P. Pflug [14]). 

Théorème 5.9. - Soit D un domaine borné convexe de C". Alors, cd = ko = ^d- 
De même, Ed = F^. 

6. Points fixes d'applications holomorphes 

Comme nous l'avons déjà dit, les applications holomorphes sont contractantes, au sens 
large, pour la pseudodistance intégrée de Carathéodory. Nous allons montrer maintenant 
un résultat de C. Earle et R. Hamilton [8] qui montre, dans certains cas, que l'application 
est strictement contractante pour la pseudodistance intégrée de Carathéodory. Plus préci- 
sément, nous avons le théorème suivant. 

Théorème 6.1. - Soit D un domaine borné de C"", et soit f : D — > D une application 
holomorphe telle que f{D) soit relativement compact dans D. Alors il existe une constante 
k < 1 telle que f soit k- contractante pour la distance intégrée de Carathéodory c\). Par 
suite, f admet un unique point fixe a E D, et a = lim^_^oo/"(-So)j où zq est un point 
quelconque de D. 

Démonstration. - Du fait que f{D) CC D, on déduit l'existence de deux nombres 
réels r et R strictement positifs tels que ,\/z E D, 

B{f{z),r)cDGB{f{z),R). 

Soit z E D fixé et soit t = r/R. L'application holomorphe 

C^^(C) = /(C) + WC)-/(^)) 
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est une application holomorphe de D dans D. D'après les propriétés de la métrique de 
Carathéodory, on a donc : 

ED{g{z),g\z).v)<ED{z,v), 

ce qui donne 

{l + t)ED{f{z),f{z).v)<En{z,v). 
Ainsi donc, / est 1/(1 + t)-contractante pour Er, et c^. 

On choisit alors un point zq & D. Si on note z^ = (zq) , on a, : 

éoiZn, Zn+l) < 1/(1 + t)''ciy{zo, Zi). 

De manière classique, on en déduit que (^n)„çj^ est une suite de Cauchy dans D et que, 
pour tout n > 1, 2;„ e f{D) qui est un compact de D. Sa limite est l'unique point fixe de 
/ dans D. 

7. Linéarisation locale d'une rétraction holomophe 

Nous aurons besoin du théorème suivant (H. Cartan [6]). 

Théorème 7.1. - Soit U un ouvert de et soit p : U — > U une rétraction 
holomorphe, c'est-à-dire une application holomorphe telle que = pop = p. Soit zq un 
point tel que p{zo) = zq. Alors il existe une carte locale u d'un voisinage U{zo) sur un 
voisinage V de tel que u{zo) = 0, et que, dans la carte u, p soit linéaire égal à un 
projecteur, (ce qui signifie que uopou~^ est la restriction à V d'un projecteur linéaire). 

Démonstration. - Quitte à faire un changement de coordonnées, on peut supposer que 
p(0) = 0. Soit p = ^2"^=! le développement de p en séries de polynômes homogènes. Le 
fait que p^ — p entraîne que PioPi — Pi. Soit 

M = id + (2Pi - id)o(p - Pi). 

On a: 

u'{0) = id + (2Pi - id)o(Pi - Pi) = id. 

Le théorème d'inversion locale montre que u est bien une carte locale au voisinage de 0. 
Etudions maintenant uop. On a : 

uop = p + (2Pi — id)o(p — P\)op 

= p+(2Pi -id)o(p2_p^op) 

= p + 2Piop - 2Piop - p + Piop = Piop. 



D'autre part. 



Pion = Pi + (2Pi - Pi)o(p - Pi) 
= Pi + Piop - Pi = Piop. 
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On a donc 

uop = PiOU. 

On en déduit 

uopou~^ = Pi, 

et le théorème est démontré. 

On déduit de ce résultat le corollaire suivant. 

Corollaire 7.2. - Soit U un ouvert de C"^ et soit p : U — > U une rétraction 
holomorphe. Alors l'ensemble p{U) (qui est égal à l'ensemble des points fixes de p) est une 
sous-variété analytique complexe de U . 

Le résultat est évident parce que, dans la carte tt, p{U) est égal à l'intersection de V 
et d'un sous-espace vectoriel de C^. 

8. Points fixes d'applications holomorphes dans un domaine borné convexe 

de 

On déduit des considérations précédentes le théorème suivant (P. Mazet et J.-P. Vigué 
[19]). 

Théorème 8.1. - Soit D un domaine borné convexe de C". Soit f : D — > D une 
application holomorphe. Alors l'ensemble Fix/ = {z E D\f{z) = z} des points fixes de f 
est une sous-variété analytique complexe connexe de D, et si Fix/ est non vide, il existe 
une rétraction holomorphe p : D — y Fix/. 

Démonstration. - On peut bien sûr supposer que Fix/ est non vide. Pour tout nombre 
réel A, < A < 1, et pour tout a G -D, soit 

z ^ fx,a{^) = a + Hf{z) - a). 
Soit r > tel que B{a, r) soit contenu dans D. En écrivant 

/A,a(^) = (l-A)a + A/(z), 

on montre que D contient la boule de centre fx,a{z) et de rayon (1 — A)r. Ainsi, fx^a{D) 
est relativement compact dans D. Par suite, /a, a admet un point fixe unique (fix{a) et on 
a : 

(px{a) = liuin^oo fx,a{b), 

où b est un point quelconque de D. D'autre part, a i-> fxai^) holomorphe, et, d'après 
le théorème 6.1, on peut vérifier que ces applications convergent uniformément sur tout 
compact vers (fx qui est donc holomorphe. Remarquons qu'en fait, on peut le vérifier 
directement en appliquant le théorème de Montel : on peut trouver •0 tel que fx'g^ib) tende 
vers V' uniformément sur tout compact. Mais il^ = (fix, et tout s'en déduit facilement. 

On fait alors tendre A vers 1. D'après le théorème de Montel, il existe une suite 
An — > 1 telle que (fix„ tende vers (fi, oh. (fi est une application holomorphe de D dans D. 
Remarquons d'abord que, si a est un point fixe de /, fx,a{o) = Par suite, (fix,a{o) = o 
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et (fi{a) = a. Comme D est un domaine convexe borné et est, par suite, taut, le fait que / 
admet au moins un point fixe entraîne que (/? est une application holomorphe de D dans 
D. Pour montrer que ip est une rétraction holomorphe de D sur l'ensemble des points fixes 
de /, il suffit de montrer que, pour tout b G D,ip{b) est un point fixe de /, c'est-à-dire que 
f{(f{b)) — (f{b). Or, on sait que 

f\,b{v\h{h)) = ifix,b{b), 

(1-X)b + Xf{ip^^,{b))=ipx,b{b)- 

Faisons tendre vers 1. Alors (px^,b{b) tend vers (fi{b). Comme / est continue, on en 
déduit que 

f{<p{b)) = <p{b). 

Ainsi, (p est bien une rétraction holomorphe sur l'ensemble des points fixes de /, et d'après 
le corollaire 7.2, Fix/ est bien une sous- variété analytique connexe de D. 

Maintenant, si on ne suppose pas que D est un domaine borné de C", alors l'ensemble 
des points fixes de / n'est pas, en général, une sous-variété analytique de D. 

Exemple 8.2. - Considérons le cas de C". Soit / l'application holomorphe de 
dans C" définie par 

f{zi, Zn) = {Zi + fi{zi, Zn), Zn + fn{zi, Zn)), 

où fi, fn sont des applications holomorphes de C"^ dans C. Alors l'ensemble des points 
fixes de / est égal à l'ensemble des zéros communs des /i, fn- En général, ce n'est pas 
une sous- variété analytique complexe de C". 

D'autre part, même dans le cas d'un domaine borné D de C"^, l'ensemble Fix/ n'est 
pas, en général, un ensemble connexe, et ses composantes connexes n'ont pas toujours la 
même dimension. 

Exemple 8.3. - Soit Jî > 1, et soit A ^ {z e C\l/R < \z\ < R}. Alors l'application 
/ : A — > A définie par f{z) = 1/z admet deux points fixes 1 et —1. Ce n'est pas un 
ensemble connexe. 

Exemple 8.4. - Considérons le domaine borné suivant 

D = {{x,y) e C^|l/2 < |a;| < 2, \xy^\ < 1}. 

Soit / : D — y D définie par /(x, y) = {l/x, xy). L'ensemble des points fixes de / est égal 
à ^1 U ^-1, oii 

Al = {(x, y) e D\x = 1}, A_i = {{x, y) G D\x = -l,y = 0}. 

Il est clair que Ai et A-i sont de dimension différentes. Cependant, on remarque que, dans 
ce cas aussi, Fix/ est une sous- variété analytique complexe de D. Nous allons montrer 
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que, si D est un domaine borné de C"^, ou plus généralement une variété hyperbolique, et 
si f : D — 7- D est une application holomorphe, l'ensemble des points fixes de / est une 
sous- variété analytique complexe de D. 

Nous allons montrer ce résultat en utilisant un théorème sur la linéarisation locale 
d'un automorphisme analytique de D au voisinage d'un point fixe. Pour commencer, 
nous aurons besoin de certains résultats sur les automorphismes analytiques d'un domaine 
borné. 

9. Automorphismes analytiques d'un domaine borné 

Dans ce paragraphe, nous allons montrer quelques propriétés du groupe des automor- 
phismes analytiques d'un domaine borné (voir par exemple [20]). 

Soit donc D un domaine borné de C"^. On munit l'ensemble H{D, D) des applications 
holomorphes de D dans D de la topologie de la convergence uniforme sur tout compact de 
D. Le groupe Aut(L>) des automorphismes analytiques de D qui est contenu dans H{D, D) 
sera muni de la topologie induite. 

Remarquons d'abord que sur H{D, D), cette topologie coïncide avec la topologie de la 
convergence uniforme sur un compact d'intérieur non vide. Plus précisément, nous avons 
la proposition suivante. 

Proposition 9.1. - Soit D un domaine borné de C", et soit K un compact d'intérieur 
non vide contenu dans D. Alors, sur H{D,D), la topologie de la convergence sur tout 
compact de D coïncide avec la topologie de la convergence uniforme sur K. 

Démonstration. - Pour montrer la proposition 9.1, il suffit de démontrer le résultat 
suivant : soit (/n)„ç|^ une suite de fonctions holomorphes appartenant à H{D, D) con- 
vergeant uniformément sur K vers / G H[D, D). Alors fn converge vers / uniformément 
sur tout compact de D. D'après le théorème de Montel, H{D, D) est compact. On peut 
donc extraire de la suite fn une suite fnj convergeant uniformément sur tout compact 
vers g G H{D,D). Mais f et g coïncident sur l'intérieur de K. D'après le théorème de 
prolongement analytique, f = g. Ainsi donc, / est le seul point adhérent à la suite fn- 
Comme H{D, D) est compact, ceci entraîne que fn converge vers / uniformément sur tout 
compact de D. 

A l'aide de cette proposition, on montre assez facilement le théorème suivant. 

Théorème 9.2. - (i) L'application H{D,D) x H{D,D) — > H{D,D), qui, à {f,g) 
associe fog, est continue ; 

(ii) L'application de Aut(D) dans lui-même f ^ f~^est continue. 
Par suite, Aut(D) est un groupe topologique. 

Démonstration. - (i) Les espaces considérés étant métriques, on peut utiliser des 
suites. Soient f,gn^ 9- Montrons que fnogn fog- 

Choisissons un compact K d'intérieur non vide contenu dans D. Comme g G H(D, D), 
g{K) est compact, et on peut trouver un compact L contenu dans D tel que, pour un certain 
S > 0, L contienne g{K)5 = {z e D\d{z,g{K)) < 6}. Soit z e K. On a : 
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\\fn{9n{z)) - figizM < \\fn{9n{z)) " /(^n(^))|| + \\f{9n{z)) - /(^(^))||. 



Pour n assez grand, Çniz) G L. On a donc 

\\fn{9n{z))-f{gn{z))\\<\\f-Uh. 

D'autre part, / étant continue sur le compact g{K) est uniformément continue sur g{K). 
Par suite, pour tout e > 0, il existe rj > tel que \\gn{z) — g{z)\\ < S entraîne \\f{gn{z)) — 
f{g{z))\\ < e. Ceci démontre que fn{gn{z)) — > f{g{z)) uniformément sur K. D'après la 
proposition 9.1, ceci entraîne que fn°gn converge vers fog uniformément sur tout compact 
de D. 

(ii) Soit fn une suite d'éléments de Aut(-D). Soit gn = f~^, et on veut montrer que 
gn converge vers f~^. Comme g^ est une suite de fonctions holomorphes bornées, on sait 
qu'il existe une suite extraite gn^ convergeant vers g. D'après le (i), gnj°fnj converge vers 
gof. Comme gnj=fnl,gnj°fnj = id. Par suite, gof = id. En multipliant à droite par 
f~^, on trouve que g = f~^. Ainsi, le seul point adhérent à la suite g^ est f~^. Par suite, 
gn converge vers /~^, et le théorème est démontré. 

Si on considère une suite fn d'automorphismes d'un domaine borné D convergeant 
vers une limite /, / n'est pas forcément un automorphisme analytique de D. En effet, dans 
le cas du disque-unité A, il suffit de considérer la suite fn d'automorphismes analytiques 
définie par 

. . _ z + {l-l/n) 
l + (l-l/n)^' 

qui converge uniformément sur tout compact vers 1. C'est dans un certain sens le seul 
problème possible comme le montre le théorème suivant. 

Théorème 9.3. - Soit D un dom,a,ine borné de C", et soit fn G Aut{D) une suite 
d'automorphismes analytiques de D convergeant vers f G H{D,D). S'il existe a E D tel 
que f(a) & D, f est un automorphisme analytique de D. 

Comme précédemment, on fait la démonstration en considérant la suite gn — fn^ 
en montrant que gn converge vers f~^. 

Corollaire 9.4. - Soit D un domaine borné de et soit a un point de D. Soit K un 
compact de D. Alors Au.ta,K{D) = {/ G Aut(-D)|/(a) G K} est compact. En particulier, 
Aut(D) est localement compact et le groupe Auta(D) d'isotropie du point a est compact. 

Démonstration. - Soit une suite d'éléments de Auta^i^(-D). On peut en extraire 
une suite fn^ convergeant vers / G H{D, D). Comme K est compact, /(a) G K. D'après 
le théorème 9.3, / G Aut(D). Ainsi, Auta,K{D) est compact. 

10. Propriétés du groupe des automorphismes analytiques d'un domaine 
borné 

Nous avons d'abord le théorème d'unicité de H. Cartan [5]. 



13 



Théorème 10.1. - Soit D un domaine borné de C" et soit f G H{D,D) tel que 
f{a) = a, f'{a) = id. Alors, f = id. 

Démonstration. - Soit f{z) — a + Ppi^ ~ o,) 1^ développement de / en séries de 

polynômes homogènes. Comme /'(a) = id, ceci entraîne que Pi{z — a) = f'{a).{z — a) = 
{z — a). Si / n'est pas égal à l'identité, on peut écrire 

CXD 

f{z) = a+{z-a) + Pk{z-a)+ ^pI-^ - «)' 

p=k+l 

oh. Pk est le premier terme non nul du développement d'ordre k >2. On vérifie facilement 
que, si on itère /, on trouve comme développement en séries de polynômes homogènes de 

r 

r{z) =a + {z-a)+ nPk{z - a) + ... 

Les inégalités de Cauchy montrent que ||î^-Pa;|| est borné par une constante M, et est donc 
nul. Contradiction. Le théorème est démontré. 

On en déduit le corollaire suivant. 

Corollaire 10.2. - Soit D un domaine borné de et soient f G H(D,D) et 
g e Aut{D). Si f{a) = g{a) et f'{a) = g' {a) alors f = g. 

Pour démontrer ce résultat, il suffit d'appliquer le théorème 10.1 à g~^of. 

On déduit de ces considérations le théorème suivant. 

Théorème 10.3. - Soit D un domaine borné de . Alors, l'application ip de 
Aut{D) dans i:)xGL(C) définie par 

f^{f{a)J'{a)) 

est injective et est un homémorphisme de Aut(D) sur son image. 

Démonstration. - Le fait que est injective a été démontré dans le corollaire 10.2. 
La continuité de ip est immédiate. Montrons maintenant que ip est bicontinue. Soit 
et / appartenant à Aut(£)) et supposons que /n(a) — )■ f{a),f!^{a) — )■ f'{a). Montrons 
que fn ^ f uniformément sur tout compact de D. On peut extraire de la suite fn une 
suite fnj qui converge vers g G H{D^D). Comme g{a) G -D, le théorème 9.3 montre que 
g G KvA{D), et on a : /(a) = g{a), f'{a) = g'{a). Par suite, g = f. Ainsi, / est le seul 
point adhérent à la suite fn dans le compact Auta,K{D), où K est un voisinage compact 
de /(a). Par suite, fn^f^^ le théorème est démontré. 

Ainsi donc, si D est un domaine borné de C"^, un élément / du groupe Auta(-D) 
d'isotropie du point a est caractérisé par la valeur de f'{a). En fait, on a mieux et nous 
allons montrer les deux résultats suivants. 

Théorème 10.4. - Soit X une variété analytique complexe hyperbolique, et soit 
f : X — > X un automorphisme analytique de X, et soit a un point fixe de f. Alors il 
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existe une carte locale (p définie au voisinage de a, telle que (p{a) = 0, et que, dans la carte 
(fi, f soit une application linéaire (c'est-à-dire que (fiofo(f~^ soit une application linéaire). 

Démonstration. - Dans la mesure où la question est locale et, quitte à remplacer X 
par une boule pour la distance de Kobayashi de centre a et de rayon suffisamment petit, 
on peut supposer X un domaine borné de C"^. Définissons 

n-l 

<^„(z) = (l/n)J]/'(a)-^.(r(z)-a), 

p=0 

P désigne la p— ième itérée de / et f'{a)~'^ la p— ième itérée de f'{a)~^. Munissons de 
la norme Fs^a, .). On sait que /'(a) est une isométrie pour cette norme. D'autre part, la 
suite {f^{z) — a) est bornée. Par suite, (fn est une suite de fonctions holomorphes bornées. 
On peut utiliser le théorème de Montel et extraire de la suite une suite ^pn-j convergeant 
uniformément sur tout compact vers une application holomorphe (p. On sait que 

n-l 

^;(«) = (i/n)E/'(«)""°/'« = id. 

D'après le théorème de Weierstrass, ceci entraîne que (p'{a) = id. Le théorème d'inversion 
locale montre que p est un isomorphisme analytique d'un voisinage de a sur un voisinage 
de 0. 

Pour démontrer le théorème, il suffit maintenant de montrer que (pofo(p~^ — f'{a), 
ou, ce qui revient au même, que ipof — f'{a)op. 

Soit z e D. Calculons (fin{f{z)). 

n-l 

pMiz)) = (l/n) J2 na)-^.{r+\z) - a) 
= fia) . (1/n) xi /' {a)-^'^'^ • {F^' {z) - a) 

p=0 

n 

= na).{l/n)Y,na)-^.{F{z)-a) 

n-l 

= /'(a).(l/n) Y, na)-P.inz) - a) + (l/n)(/' (a)-^(r (^) - a) - (z - a)) 

p=0 

Quand n tend vers l'infini, {1 /n){f' {a)~'^ .{f^ (z) — a) — {z — a)) tend vers 0. D'autre part, 

/'(«)•(!/%■) EplôV'(a)-^-(/n-2) - a) tend vers /'(a).(^(2;). On trouve donc /(piz)) = 
f'{a).(p{z), et le théorème est démontré. 
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Ce résultat sera suffisant pour démontrer notre théorème sur les points fixes. Cepen- 
dant, nous pouvons montrer un résultat plus fort que nous allons énoncer maintenant. 

Théorème 10.5. - Soit X une variété hyperbolique complexe et soit a un point de 

X . Alors il existe une carte locale </? définie au voisinage de a, telle que ip{a) = 0, et que, 
dans la carte lç, Auta(_D) soit un sous-groupe du groupe linéaire (c'est-à-dire que, pour 
tout f G Auta(-D), tpofoip^^ soit une application linéaire). 

Démonstration. - Comme précédemment, on peut supposer que X est un domaine 
borné D de C"^. Comme Auta(-D) est compact, le groupe Auta(D) peut être muni d'une 
mesure de Haar ji invariante à gauche et à droite de masse totale 1 (voir N. Bourbaki [4]). 
On définit (p par la formule 

^(^) = / g' {o)~^ ■{giz) - a)dii{z). 

JAutaiD) 

Il suffit de dériver sous le signe somme pour vérifier que <f'{a) = id. Par suite, <f est une 
carte locale au voisinage de a. 

Soit / e Auta(-D). Calculons ipof : 

/ g'{a)-\{g{f{z))-a)dM 

JAuta(D) 

= fia). [ [{gofy{a)]-\{{gof){z) - a)dM = f'{a).<p{z), 

JAuta(D) 

en utilisant l'invariance de par translation à droite. Le théorème est démontré. 

Dans le cas des domaines cerclés bornés de C"^, nous avons un résultat meilleur que 
nous allons maintenant démontrer. Commençons par donner la définiton suivante. 

Définition 10.6. - On dit qu'un domaine D de C"^ est cerclé si l'origine appartient 
à D et si, pour tout nombre complexe A de module 1, pour tout z E Xz E D. 

Théorème 10.7. - Soient Di et D2 deux domaines cerclés de et supposons que 
Di est borné. Soit f : Di — > D2 un isomorphisme analytique tel que /(O) = 0. Alors, D2 
est borné et f est la restriction à Di d'un automorphisme linéaire de C"'. 

Démonstration. - Montrons d'abord que, pour tout 6* G M, pour tout 2; G -Di, 

f{é'z) = é'f{z). 

Pour cela, considérons l'application holomorphe g de Di dans Di définie par 

g{z) = r\e-''f{é'z)). 

Comme Di et D2 sont cerclés, g est un automorphisme analytique de Di. On a : g{Q) = 
0,^'(0) = id. Le théorème d'unicité de H. Cartan montre que g{z) = 2;, ce qui entraîne 
que f{e^^z) = e'^f{z). 
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Considérons maintenant le développement de / en séries de polynômes homogènes au 
voisinage de l'origine 

oo 
n=l 

qui converge uniformément sur tout compact contenu dans Di. Soit ^ G -Di et considérons 
le compact réunion des e^^z, pour ^ e M. Il est facile de voir que l'intégrale 

(l/27r) / f{e'^z)e-'^de 

est égale à Pi{z). D'un autre côté, en utilisant l'égalité f{é^^z) — ë^^ f{z), on trouve 
que cette intégrale vaut f{z). Ce résultat entraîne facilement que / est la restriction de 
l'application linéaire Pi. 

Ce résultat montre en particulier que l'ensemble des points fixes d'un automorphisme 
analytique d'un domaine cerclé borné D de C"' laissant l'origine fixe est l'intersection de 
D avec un sous-espace vectoriel V de C"^. Ce sous-espace V est justement le sous-espace 
propre correspondant à la valeur propre 1 de / = /'(O). 

Ce théorème permet aussi de montrer un résultat démontré d'abord par H. Poincaré: 
en dimension supérieure ou égale à 2, il existe des domaines bornés de simplement 
connexes et non analytiquement isomorphes. 

Théorème 10.8. - Pour tout n > 2, le polydisque A"' = {(^i,...,^^) e C^H^ij < 
1, Vi} et la houle hermitienne = {{zi, Zn) G C^H^ip -|- ... -|- {znl"^ < 1} ne sont pas 
analytiquement isomorphes. 

Idée de la démonstration. - En utilisant des transformations de Môbius, il est facile 
de montrer que le polydisque A"^ est homogène (c'est aussi vrai pour la boule hermitienne 
mais moins évident). S'il existe un isomorphisme / de A"^ sur on peut donc supposer 
que /(O) = 0. D'après le théorème 10.7, / serait donc linéaire. Il est facile de voir qu'un tel 
isomorphisme linéaire ne peut pas exister. On peut remarquer par exemple que la frontière 
dBn de Bn est une sous-variété analytique réelle de C" alors que ce n'est pas le cas pour 
la frontière 9 A" de A". Cependant, / serait un isomorphime linéaire de dA'^ sur dB^, ce 
qui est impossible. 

11. Suite des itérées d'une application holomorphe 

Pour la suite de notre étude, nous allons considérer ( comme E. Bedford [3] et M. Abate 
[1]) la suite des itérées d'une application holomorphe /. Plus précisément, on considère un 
domaine borné D de C"^ et une application holomorphe / : D — > D. On considère alors 
la suite des itérées f"'{= /0...0/ n fois) de / qui est une suite d'applications holomorphes 
de D dans D. Comme D est borné, d'après le théorème de Montel, on peut trouver une 
suite extraite (/"■^ ) qui converge vers une application holomorphe g : D — > D. 

Théorème 11.1. - Supposons que la suite vérifie la propriété (H) suivante : pour 
toute suite extraite /"^ convergente vers g, g est une application holomorphe de D dans 
D. Alors il existe une rétraction holomorphe p : D — > D et une suite extraite f^^ qui 
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converge vers p. Déplus, f\p(D) est un automorphisme analytique de p{D) et p{D) contient 
l'ensemble des points fixes de f. 

Démonstration. - Commençons par extraire une sous-suite f^^ qui converge vers 
F : D — > D. On peut supposer, quitte à extraire une sous-suite que tîj+i — ^nj tend vers 
+00. En appliquant plusieurs fois le théorème de Montel, on peut trouver une application 
a : N — > N strictement croissante telle que la suite hj — converge vers une 

application holomorphe p : D — > D. De même, on suppose que converge 
vers g. Enfin, supposons que converge vers h. 

En écrivant 

jn<,(j) + i_yn<,(j) + i-n^(j)Qyn<,(j)_yn^(j)Qyn^(j)+i-n^(j) ^ 

et, en faisant tendre j vers +00, on trouve 

F = poF = Fop. 

Soit z = F{x) un élément appartenant à l'image de F. On a : 

p{z) = p{F{x)) = F{x) = z. 

Par suite, p est égal à l'identité sur l'image de F. 

Considérons maintenant . En écrivant 

et, en passant à la limite, on trouve 

P = 9°F = Fog. 

Ceci prouve que l'image de p est contenue dans l'image de F, et on a vu que, sur l'image 
de F, p est égal à l'identité. Ainsi, p est bien une rétraction holomorphe. 

Considérons maintenant f'^^0)+^~'^^U)~^^ . En écrivant 

et, en faisant tendre j vers +00, on trouve 

fop = pof. 

Ceci prouve que l'image de p est stable par /. 

Considérons enfin f'^cru)+i-ncru)-'^ qui converge vers h. Nous avons 

= J"a«)+i-nCT(j)-lQjn^(j)+i-n<^(j)-|-l^ 
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et, en faisant tendre j vers +00, on trouve 

= fopoh — hopof — pohof. 

Ceci prouve que f\imp est un automorphisme analytique de Im p. Son inverse est la 
restriction de poh à l'image de p. 

Sur la construction de /"•, il est clair que, si z est un point fixe de /, alors f'^{z) = z 
et, par suite, p{z) = z. Ainsi, z appartient à l'image de p. Le théorème est démontré. 

Rappelons qu'une suite fn d'applications d'une variété analytique complexe X dans 
une variété complexe Y est compactement divergente si, étant donnés deux compacts 
K G X et L C Y, 3no G N tel que, Vn > no, fn{K) H L — 0. D'autre part, on dit qu'une 
variété analytique complexe X est taut (au sens de H. Wu [24]) si, pour toute suite /„ 
d'applications du disque-unité A dans X, la suite fn admet une sous-suite convergente 
dans iï(A, X) ou une sous-suite compactement divergente. 

Il est classique qu'une variété analytique complexe hyperbolique complète (c'est-à- 
dire, complète pour la distance de Kobayashi kx) est taut et que toute variété complexe 
taut est hyperbolique. En particulier, il résulte des résultats précédents la proposition 
suivante. 

Proposition 11.2. - Soit D un domaine borné taut de C". Soit f une applica- 
tion holomorphe de D dans D. Supposons qu'il existe x E D tel que la suite f"'{x) soit 
relativement compacte dans D. Alors la suite des itérées de f vérifie l'hypothèse (H). 

En particulier, si on considère un domaine borné D taut de et une application / 
de D dans D ayant un point fixe dans D, la suite des itérées de / vérifie l'hypothèse 
(H). Cependant, ceci n'est pas tout à fait suffisant pour l'étude des points fixes car nous 
désirons étudier ausi le cas où D n'est pas taut. Pour cela, nous avons la proposition 
suivante. (Nous noteros Bk{a,r) la boule de centre a et de rayon r pour la distance de 
Kobayashi). 

Proposition 11.3. - Soit D un domaine borné de et soit f : D — y D une 
application holomorphe de D dans D admettant un point fixe a. Alors, pour tout r > 0, 
f{Bk{a,r)) C Bk{a,r). De plus, il existe r > tel que la suite {f\Bk{a,r))^ vérifie la 
condition (H). 

Démonstration. - En effet, soit r > tel que la boule Bk{a,r) soit isomorphe à 
un domaine borné et relativement compacte dans D. Soit Çn = {f\Bk{a,r))"' et soit z G 
Bk{a,r). Alors kx{ci,z) = p < r. Si on considère une sous-suite convergente, la limite 
g{z) appartient à l'adhérence de Bk{a,r) qui est contenue dans X. Par passage à la limite, 
on en déduit que kx{,ci-,g{z)) < p, et g est une application holomorphe de Bk{a,r) dans 
lui-même. 

12. Points fixes d'une application holomorphe 

Nous pouvons maintenant achever l'étude de l'ensemble des points d'une application 
holomorphe / d'un domaine borné (ou plus généralement d'une variété hyperbolique) dans 
lui-même. Plus précisément, nous avons le théorème suivant (voir J.-P. Vigué [23]). 
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Théorème 12.1. - Soit X une variété hyperbolique complexe (ou un domaine borné 
de C^). Soit f : X — )■ X une application holomorphe. Alors, l'ensemble Fix/ des points 
fixes de f est une sous-variété analytique complexe de X . De plus, si a est un point fixe de 
f , la dimension de Fix/ au voisinage de a est égale à la dimension du sous-espace propre 
correspondant à la valeur propre 1 de f'{a). 

Démonstration. - Le résultat est de nature locale. Il suffit de démontrer que, étant 
donné a G Fix/, il existe un voisinage U de a tel que Fix/ fl U soit une sous- variété 
analytique de U. 

Soit a e Fix/. Quitte à remplacer X par une boule pour la distance de Kobayashi 
de rayon suffisamment petit, on peut supposer que X est un domaine borné de C"^. On 
applique alors la proposition 11.3, ce qui permet ensuite d'appliquer le théorème 11.1. 
Il existe un voisinage borné F de a dans stable par / qui vérifie les hypothèses du 
théorème 11.1. Par suite, il existe une rétraction holomorphe p de V sur une sous- variété 
WdeV, W contient les points fixes de f\v et f\w est un automorphisme analytique de W. 
Quitte à diminuer encore une fois la taille de W, on peut supposer que W est isomorphe 
à un domaine borné de C"^ et appliquer le théorème 10.4. Il existe une carte locale définie 
au voisinage de a tel que, dans cette carte, / soit linéaire égal à f'{a). Le théorème s'en 
déduit. 

Nous allons nous intéresser maintenant aux points fixes d'une application holomorphe 
/ d'une boule-unité de dans elle-même qui laisse l'origine fixe. Commençons par un 
principe du maximum fort. 

13. Principe du maximum fort 

Si on considère un domaine borné U de C" et une fonction holomorphe / : U — > C, 
on a le principe du maximum : si |/| admet un maximum local en un point a de U, f est 
constante. 

Maintenant, si on considère une application holomorphe d'un ouvert U de C"^ dans 
C"^, muni d'une norme ||.||, le principe du maximum ne s'applique pas en général, ||/|| peut 
avoir un maximum local sans que / soit constante, comme le montre l'exemple suivant : 
soit muni de la norme 

||(2;i, 2:2)11 =sup(||2;i||,||2;2||). 

L'application / : A ^ définie par /(C) = (1,C) vérifie ||/(z)|| = 1,VC G A, et / n'est 
pas constante. 

Commençons par montrer le lemme suivant (voir par exemple [9] ou [12]). 

Lemme 13.1. - Soit f e H {A, A). Alors, pour tout z E A, 

2\z\\f{0)\ + {l-\z\)\f{z)-f{0)\<2\z\. 

Démonstration. - S'il existe z tel que |/(z) | = 1, / est constante et la formule est vraie. On 
peut donc supposer que f{z) G A, V2; G A. On peut alors utiliser le lemme de Schwarz-Pick 
(proposition 3.1). On a, V2; G A : 



/(^0_/(o) 
1 - /(o)/(^) 



< 


z 
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ce qui donne 

l/(z)-/(o)|<|z||i-7(ô)/(^)l- 



Majorons |1 - /(0)/(^)|. 

ii - mm\ < ii - i/(o)n + ii/wp - mm 



On en déduit 



Par suite, 



Ceci donne 



<ii-i/(o)n + 1/(0)11/(0) 

<|i -1/(0)1' + 1/(0)11/(0) -/(^)|. 

\f{z) - /(0)| < 1^1(11 - |/(0)p) + \z\\fm\f{z) - /(0)|. 

(l-|z||/(0)|)|/(z)-/(0)|<|z|(l- 1/(0)1^) 
< H(l-|/(0)|)(1+ 1/(0)1) < 2^(1-1/(0)1). 



21^11/(0)1 + (l-|^||/(0)|)|/(^)-/(0)|<2|^|, 
et comme 1 — |2;| < (1 — |2||/(0)|), le résultat s'en déduit. 
Nous avons maintenant le lemme suivant. 

Lemme 13.2. - Soit B la houle-unité ouverte de C"' pour une norme ||.||, et soit f 
une application holomorphe de A dans telle que /(A) soit contenu dans B. Alors 

11/(0) + C(/(^)-/(o))||<i 

pour tout z e A\{0} et pour tout ( & C tel que \Ç\ < ^2\^z\^ • 
Démonstration. - Si n = 1, on déduit du lemme 13.1 que 



\m\+ ^^\m-fm<^- 

z\z\ 

Pour tout C e C te/ que |C| < , on a ||/(0) + C{f{z) - /(0)|| < 1, ce qui est le résultat 
annoncé. 

Dans le cas n > 2, faisons la démonstration par l'absurde. Supposons qu'il existe 
z G A\{0} et C e C, ICI < ^ tel que |/(0)| + ^ \f{z) - /(0)| > 1. D'après le 
théorème de Hahn-Banach, il existe une forme C-linéaire continue A sur de norme 1 
telle que 

A(/(0) + c(/(^) - /(o)) = 11/(0) + c(/(^) - /(0))|| > 1. 

L'application Xof est bien holomorphe sur A et (Ao/)(A) C A. On peut appliquer la 
première partie de la démonstration, ce qui donne la contradiction cherchée. 
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On définit alors la notion de point complexe extrémal d'un ensemble ^ C C". 

Définition 13.3. - Soit A un partie de C^. On dit qu'un point a; de ^ est un point 
complexe extremal de A si le seul vecteur j/ e C" tel que x + (y appartienne à A, pour 
tout C e C, ICI < 1 6st le vecteur nul. 

Sous les hypothèses du lemme 13.2, si une application holomorphe / : A — > B est 
telle que f{z) 7^/(0), alors l'image de A par l'application linéaire afiine non constante 



C^/(o) + C^^ (/(^)-/(o)) 



1 - 




z\ 


2| 


\z 





est contenue dans B. Ceci montre la proposition suivante. 

Proposition 13.4. - Soit f_e H{A, C) telle que /(A) C B. Soit zq G A. Si f{zp) est 
un point complexe extrémal de B, alors f est constante. Réciproquement, si zq E B n'est 
pas un point complexe extrémal de B, il existe une application holomorphe non constante 
f e H{A,B) telle que /(O) = Zq. 

Si on considère maintenant des applications d'un domaine D de à valeurs dans 
C", en coupant par des sous-espaces affines de dimension 1 et en utilisant le principe du 
prolongement analytique, on en déduit le principe du maximum fort suivant (E. Thorp et 
R. Whitley [21]). 

Théorème 13.5. - Soit D un domaine de et soit f G H{D, C) tel que f{D) 

soit contenu dans la houle-unité fermée B de C"' (pour une norme ||.||j. Supposons que 
tout vecteur de norme 1 est un point complexe extrémal de B. Alors f{D) G B ou f est 
constante. 

Exemple 13.6. - Considérons C"^ muni de la norme hermitienne. Soit B sa boule- 
unité ouverte. Alors les points complexes extrémaux de B sont exactement les points de 
dB (c'est-à-dire les points de norme 1). 

Démonstration. - Ce résultat se montre facilement par un calcul élémentaire. Si 
on n'aime pas les calculs élémentaires, on peut remarquer que, d'après le théorème de 
Krein-Milman, B, qui est compact est l'enveloppe convexe fermée de ses points extrémaux 

et a fortiori de ses points complexes extrémaux. L'ensemble S de ses points complexes 
extrémaux est donc non vide et est contenu dans dB. D'autre part, il est clair que S est 
stable sous l'action du groupe unitaire U (n) qui agit transitivement sur dB. Ainsi dB — S. 

14. Géodésiques complexes 

En suivant les idées de E. Vesentini [22], nous allons définir la notion de géodésique 
complexe d'un domaine borne D de C"^. 

Théorème et définition 14.1. - Soit (p : A — > D une application holomorphe. 

Les conditions suivantes sont équivalentes : 

(i) il existe deux points distincts ( et i] de A tels que 

CDifiO^'piv)) = ca{C,v) = ^iCv); 

(ii) pour tous les points ( et r] de A, on a : 
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(iii) il existe ( E A et v E ^{v ^ 0) tels que 
EniviC).v'iC)-v) = E^iCv) = \v\/il - \Cn 

(iv) Ponr tous ( e A et v e C{v ^ 0), on a : Ed{^{0,^' {Q.v) = Ea{C,,v) = 

1^1/(1 -icp). 

On dit alors que est une géodésique complexe de D. 

Idée de la démonstration. - Etant donnés deux points x et y de D (resp. x & D 
et V G C), il existe une fonction liolomorphe / : D — > A qui donne la distance de 
Caratliéodory CD{x,y) (resp. Ed{x,v)). C'est une application simple du théorème de 
Montel. Supposons que (i) est vérifié. On a donc : 

D'après le lemme de Schwarz-Pick, fo(p est un automophisme analytique de A, et, quitte à 
composer / avec un automorphisme de A bien choisi, on peut supposer que foip = id. Ceci 
permet de montrer (ii), (iii) et (iv). Le reste de la démonstration est laissé en exercice. 

La notion de géodésique complexe est relié à celle de rétraction holomorphe de la façon 
suivante. 

Théorème 14.2. - Soit D un domaine borné de C" et soit V une sous-variété 
analytique fermée de D analytiquement isomorphe au disque-unité A. Les propositions 

suivantes sont équivalentes : 

(i) V est l'image d'une rétraction holomorphe p : D — y D ; 

(ii) V est l'image d'une géodésique complexe (p : A — y D ; 

(iii) cd\v = cv ; 

(iv) il existe deux points distincts x et y de D tels que CD{x,y) = cv{x,y) ; 

(v) Ed\t{v) = Ey ; 

(vi) il existe x E D et v E T^(y), f ^ 0, tel que Eiy{x, v) — Ev{x, v). 

Démonstration. - Comme V est isomorphe au disque-unité A, on sait d'après le 
théorème et définition 14.1 que (ii), (iii), (iv), (v) et (vi) sont équivalents. Montrons que 
(i) entraîne (iii). Soit i l'injection de V dans D et poi est égal à id|v. On déduit du fait 
que les distances invariantes sont contractantes les inégalités suivantes : pour tous a; et y 
appartenant à V, 

cv{x,y) < CD{x,y) < cv{x,y). 
On en déduit l'égalité annoncée. 

Réciproquement, montrons par exemple que (iv) entraîne (i). Soient x et y deux 

points distincts de V tels que cd{x, y) = cv{x, y). D'après le théorème de Montel, il existe 
une application holomorphe / : D — y A qui donne cd{x, y), c'est-à-dire telle que 

cd{x, y) = CA{f{x), f{y)) = uj{f{x), f{y)). 

Soit g un isomorphisme de A sur V. Alors gof : D — y V est telle que 

cv{g{f{x)),g{f{y))) = CDix,y). 
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Mais comme cv{x,y) = CD{x,y), on trouve que 

cv{9{f{x)),g{fiy))) = cv{x,y). 

D'après le lemme de Schwarz-Pick, gof\v est un automorphisme analytique de V. Quitte 
à le composer avec un automorphisme analytique hdeV bien choisi, on trouve 

hogoflv = id|v^, 

hogof : D — > D est bien une rétraction holomorphe de D sur V. 

Nous avons maintenant un théorème d'existence de géodésiques complexes. 

Théorème 14.3. - Soit D un domaine borné de taut au sens de H. Wu [14]. Pour 
qu'il existe une géodésique complexe (p : A — > D telle que deux points distincts a et b 
appartiennent à l'image <^(A), il faut et il suffit que 

CD{a,b) = ÔD{a, b). 

Démonstration. - Comme nous l'avons montré au théorème 14.2, si a et 6 appartiennent 
à l'image d'une géodésique complexe (p : A — > D, il existe une rétraction holomorphe 
p : D — y v^(A), et on a : 

Comme </?(A) est isomorphe au disque-unité A et que ca = Sa = i^, l'égalité annoncée 
s'en déduit. 

Montrons la réciproque. Du fait que D est taut, on déduit facilement que, si a et 6 
sont deiix points distincts de -D, il existe une fonction holomorphe (p : A — > D qui réalise 
exactement 5£)(a,6), c'est-à-dire qu'il existe eu et /3 appartenant à A tels que (fi{a) = 
a, (p{P) = b et que 

Soia^b) = SD{ip{a),(p(p)) = uj(a,/3). 
Soit maintenant / : D — > A une application holomorphe telle que 

cn{a,b)=u{f{a),f{b)). 

L'application foip de A dans A est telle que 

^(/(^(«)),/W))) = ^(«,^)- 

C'est donc un automorphisme analytique du disque-unité A, et </? : A — > D est une 
géodésique complexe de D. 

En particulier, si D est un domaine borné convexe de C"^, on sait d'apès le théorème 
5.9 que cd = Sd- On en déduit qu'étant donnés deux points a et 6 de D, il existe au moins 
une géodésique complexe dont l'image contient les points a et b. 
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15. Unicité des géodésiques complexes. Application aux points fixes 
d'applications holomorphes 

Comme nous l'avons déjà dit, étant donnés deux points d'un domaine borné D, il 
n'existe pas, en général, de géodésique complexe dont l'image contienne ces deux points. 
Un autre problème intéressant est celui de l'unicité des géodésiques complexes dont l'image 
contient deux points donnés. Pour cela, il nous faut d'abord remarquer que, si </? : A — y D 
est une géodésique complexe de D et si / est un automorphisme analytque de A, cpof est 
encore une géodésique complexe de D. Aussi, nous définirons l'unicité des géodésiques 
complexes de la façon suivante : étant donnés deux points a et 6 appartenant à D (resp. 
a G -D et w G Ta{D) = C""), nous dirons qu'une géodésique complexe : A — > D est 
l'unique géodésique complexe passant par a et 6 (resp. passant par a et tangent à f ) si a et 
h appartiennent à <^(A) (resp. a G <^(A) et v G Ta(<^(A))) et si, pour tout autre géodésique 
complexe '■ ^ — > D vérifiant les mêmes propriétés, il existe un automorphisme / de A 
tel que = V°f- 

En particulier, L. Lempert [18] a montré que, si D est un domaine borné strictement 
convexe à frontière suffisamment régulière, alors les géodésiques complexes existent et sont 
uniques. En fait, la régularité de la frontière n'est pas nécessaire et S. Dineen ([7], p. 93) 
montre le théorème suivant. On dit qu'un domaine D est strictement convexe s'il n'existe 
pas de segment [a, 6] avec a^h contenu dans la frontière de D. 

Théorème 15.1. - Soit D un domaine borné strictement convexe de C". Alors les 
géodésiques complexes de D sont uniques au sens précédent. 

Démonstration. - Considérons une géodésique complexe Lp : A — > D d'un domaine 
borné D de C"^. Il est classique que (p admet des limites radiales 

(p*{e'^) = limr^i_ip{re'^) 

presque partout. Supposons D strictement convexe. Faisons la démonstration dans le cas 
de deux points a et b. Soient (f et deux géodésiques complexes passant par a et b. Quitte 
à les reparamétrer, on peut supposer qu'il existe C et rj tels que 

V'(C) = V'(C) = o, ifi{r]) = ^{r]) = b. 

Soient ip* et if:* les limites radiales définies presque partout. D'après le théorème 14.1, pour 
tout A G [0, 1], A(/7 + (1 — A)'0 est une géosésique complexe de D passant par a et b. Soit 
^ G M tel que ip*{e'^) et tp*{e'^) soient tous les deux définis. A h-> \^*{e^% + (1 - \W{e'^) 
est un segment contenu dans la frontière de D. Comme D est strictement convexe, ceci 
entraîne que <^*(e*^) = ■0*(e*^)) et ceci est vrai pour presque tout 6. Ceci entraîne que 
(fi = lp. Le théorème est démontré. 

Dans le cas de la boule- unité de C" pour une norme ||.||, on a le théorème d'unicité 
suivant. 

Théorème 15.2. - Soit B la boule-unité ouverte de C"' pour une norme \\.\\. Soit 
V G dB un point complexe extrémal de B. Alors, 
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est l'unique géodésique complexe de B telle que <^(0) = 0, <^'(0) = v. 
Démonstration. - Considérons le développement en série de (f 

oo 
n=l 

avec ai = v. L'application / : A — > C" définie par f{() = ^p{C)/C admet pour 
développement en série 

oo oo 
n=l n=2 

Pour toute forme linéaire m sur de norme 1, mo(f s'annule en et est à valeurs dans 
A. Le lemme de Schwarz montre que mo(f est à valeurs dans A et vérifie 

Imov'lOI < ICI- 

Par suite, mof est à valeurs dans A. Le théorème de Hahn-Banacli montre que / envoie 
A dans la boule-unité fermée B et /(O) = v. D'après le théorème 13.5, / est constante 
égale à t;. Le théorème est démontré. 

Nous allons maintenant appliquer ce résultat aux points fixes d'applications holomor- 
phes. 

Théorème 15.3. - Soit B la boule-unité ouverte de C"" pour une norme \\.\\ et 
supposons que tous les points de la frontière dB de B dont des points complexe extrémaux 
de B. Soit f : B — > B une application holomorphe telle que /(O) = 0. Alors, l'ensemble 
des points fixes de f est l'intersection de B avec le sous-espace propre correspondant à la 
valeur propre 1 de /'(O). 

Démonstration. - On sait déjà que Fix/ est une sous- variété analytique complexe de 
B et que son espace tangent en est égal k Ei, le sous-espace propre correspondant à la 
valeur propre 1 de /'(O). Soit v E Ei de norme 1 et considérons la géodésique complexe 
(f : A — )> B définie par {p{() = Çv. Comme f'{0).v — v, on a /o(^(0) = 0, (/o(^)'(0) = v. 
Par suite, foip est une géodésique complexe de B. D'après le théorème d'unicité (théorème 
15.2), ceci suffit à prouver que fo(p = (p. On en éduit que Fix/ = B f] E^. 

Dans certains cas particuliers, on peut montrer un résultat plus précis (M. Hervé [11]). 

Théorème 15.4. - Soit B la boule-unité ouverte de C"" pour la norme hermitienne. 
Soit f : B — > B une application holomorphe. Si Fix/ est non vide, Fix f est l'intersection 
de B avec un sous-espace affine de C". 

Idée de la démonstration. - On remarque d'abord que tous les points de la frontière 
dB de B sont des points complexes extrémaux de 5. Si on suppose de plus que /(O) = 0, 
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alors Fix/ est l'intersection de B avec un sous-espace vectoriel E de C^. Le cas général 
se démontre en utilisant le fait que B est homogène. On en déduit que Fix/ est l'image 
de B n E par un automorphisme analytique de B. La forme explicite des automorpliismes 
permet alors de montrer que l'ensemble des points fixes de / est l'intersection de B mec 
un sous-espace affine de C^. 

Remarque 15.5. - Dans le théorème 10.8, nous avons montré que la boule-unité B^ 
de C" et le polydisque A" n'étaient pas analytiquement isomorphes. Pour cela, on était 
ramené à montrer qu'il n'existe pas d'isomorphisme linéaire entre B^ et A". On peut aussi 
dire qu'un tel isomorphime n'existe pas parce que tous les points de la frontière de B^ sont 
des points complexes extrémaiix alors que ce n'est pas le cas pour A". 

16. Exemples et applications 

Soit D un domaine borné convexe de C". Soit / : D — > D une application holo- 
morphe telle que Fix/ soit non vide. Alors, si Fix/ est de dimension 0, Fix/ est réduit 
à un point. Supposons maintenant que Fix/ est de dimension 1. D'après les résultats 
précédents, il existe une rétraction holomorphe p : D — > Fix/. En écrivant les applica- 
tions 

Fix / ^ D ^ Fix /, 

et la suite d'homotopie associée, on montre que le premier groupe d'homotopie 7ri(Fix/) 
est nul. Ainsi, Fix/ est simplement connexe. Comme Fix/ admet des fonctions bornées 
non constantes, Fix/ est isomophe au disque- unité A, c'est donc l'image d'une géodésique 
complexe. 

Considérons maintenant le cas du bidisque A^. On peut montrer facilement (E. Vesen- 
tini [22]) que, à un changement de paramètre près, les géodésiques complexes de A^ sont 
d'une des deux formes suivantes 

C^(C,MC))ouC^(MC),C), 

où h est une application holomorphe de de A dans A. 
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